엔비디아가 약 448ms(0.448초)의 저지연으로 실시간 통화가 가능한 오픈소스 풀 듀플렉스 음성 대화 AI '네모트론랩스 보이스챗 11B(NemotronLabs VoiceChat 11B)'를 공개했습니다. 이 모델은 대화 중 끊김 없이 즉각적으로 반응하며 외부 도구를 실시간으로 호출(Live Tool Calling)할 수 있어, 향후 자연스러운 반응 속도가 필수적인 고성능 실시간 음성 비서 및 AI 상담원 구축에 매우 유용하게 활용될 전망입니다.
실시간 딥페이크 앱 'Delulu'를 악용해 한 스트리머가 유명 인플루언서로 위장해 성희롱 및 혐오 발언을 해 큰 논란이 일었습니다. 이 사건은 저비용 고효율의 실시간 AI 변장 기술이 악용될 경우 심각한 명예훼손과 딥페이크 범죄로 이어질 수 있음을 보여줍니다. 따라서 스트리밍 플랫폼 및 AI 개발사의 실시간 모델에 대한 적절한 사용 정책과 규제 마련이 시급한 과제로 떠올랐습니다.
이 글은 턴 기반 인터페이스의 한계를 넘어, 오디오·비디오·텍스트를 실시간으로 처리하며 사람과 자연스럽게 협업하는 인터랙션 모델(Interaction Model)의 연구 미리보기를 발표합니다. 다중 스트림·마이크로 턴 설계를 통해 지능성과 반응성을 모두 최고 수준으로 끌어올렸습니다. 인간이 AI와 실시간으로 소통하며 피드백을 주고받는 ‘협업의 병목’을 해소하는 데 중요한 의미가 있습니다.
연구진이 단 한 장의 이미지만으로 말하기, 듣기, 노래 부르는 캐릭터의 실시간 영상을 생성하는 AI 모델 'LPM 1.0'을 공개했습니다. 이 모델은 ChatGPT 등 음성 AI와 결합해 45분까지 안정적인 스트리밍이 가능하며, 실사, 애니메이션, 3D 게임 캐릭터 등 다양한 스타일을 추가 학습 없이 지원합니다. 완성도 높은 딥페이크 기술의 등장이지만, 현재는 안전성 문제로 공개 계획 없이 연구 목적으로만 남겨진 점이 특징입니다.